لطفا جهت اطلاع از آخرین دوره ها و اخبار سایت در
کانال تلگرام
عضو شوید.
آموزش توسعه جریان داده با Apache Spark، Kafka و Spring Boot [ویدئو]
Data Stream Development with Apache Spark, Kafka, and Spring Boot [Video]
نکته:
آخرین آپدیت رو دریافت میکنید حتی اگر این محتوا بروز نباشد.
نمونه ویدیوها:
توضیحات دوره:
امروزه، سازمانها برای کار با تعداد زیادی از مجموعه دادهها با مشکل مواجه هستند. علاوه بر این، پردازش و تجزیه و تحلیل داده ها باید در زمان واقعی برای به دست آوردن بینش انجام شود. این جایی است که جریان داده وارد می شود. از آنجایی که داده های بزرگ دیگر یک موضوع خاص نیست، داشتن مهارت برای طراحی و توسعه خطوط لوله جریان داده قوی برای همه توسعه دهندگان ضروری است. علاوه بر این، آنها همچنین باید به کل خط لوله، از جمله مبادلات برای هر لایه فکر کنند.
این دوره با توضیح معماری طرح اولیه برای توسعه یک خط لوله جریان داده کاملاً کاربردی و نصب فناوری های مورد استفاده شروع می شود. با کمک جلسات برنامه نویسی زنده، به طور عملی با معماری هر لایه از خط لوله آشنا خواهید شد. شما همچنین مشکلات خاصی را که در کار با داده های جریانی با آن مواجه می شوید رسیدگی خواهید کرد. شما یک جریان داده زنده از Meetup RSVPs وارد خواهید کرد که از طریق Google Maps تجزیه و تحلیل و نمایش داده می شود.
در پایان دوره، شما یک خط لوله جریان داده کارآمد ساخته اید و می توانید سطوح مختلف آن را تجزیه و تحلیل کنید و از جریان مداوم داده ها اطمینان حاصل کنید.
تمامی کدها و فایلهای پشتیبانی این دوره در https://github.com/PacktPublishing/-Data-Stream-Development-with-Apache-Spark-Kafka-and-Spring-Boot موجود است فناوری های قدرتمند و همه کاره درگیر در جریان داده ها: آپاچی اسپارک و آپاچی کافکا
* یک معماری قوی و تمیز برای خط لوله جریان داده تشکیل دهید
* ابزارهای صحیح را برای زنده کردن معماری جریان داده خود اجرا کنید
* مشکل سازترین مبادله را برای هر لایه درگیر در خط لوله جریان داده جدا کنید
* الگوریتم های یادگیری ماشینی را پرس و جو کنید، تجزیه و تحلیل کنید و در داده های جمع آوری شده به کار ببرید
* داده های خط لوله تجزیه و تحلیل شده را از طریق Google Maps در مرورگر وب خود نمایش دهید
* کشف و حل مشکلات در مقیاسبندی و ایمنسازی برنامههای جریان داده این دوره برای توسعهدهندگان و معماران جاوا که میخواهند خطوط لوله جریان داده را طراحی و بنویسند عالی است. داشتن دانش از چارچوب Spring یک مزیت اضافی خواهد بود. * از معماری طرح اولیه تا راه حل کامل کد، این دوره به هر جنبه مهم مربوط به معماری و توسعه خط لوله جریان داده می پردازد * * ابزارها و چارچوب های مناسب را انتخاب کنید و بهترین رویکردها را برای طراحی چارچوب جریان داده خود دنبال کنید * * ساخت یک پایان پایان دادن به خط لوله جریان داده از یک جریان داده واقعی (Meetup RSVPs) و نمایش داده های تجزیه و تحلیل شده در مرورگرها از طریق Google Maps
سرفصل ها و درس ها
معرفی معماری جریان داده
Introducing Data Streaming Architecture
بررسی اجمالی دوره
The Course Overview
کشف معماری طرح خط لوله جریان داده
Discovering the Data Streaming Pipeline Blueprint Architecture
تجزیه و تحلیل پاسخ به درخواست ملاقات در زمان واقعی
Analyzing Meetup RSVPs in Real-Time
استقرار مجموعه ها و ردیف های صف پیام
Deployment of Collection and Message Queuing Tiers
اجرای ردیف مجموعه (قسمت اول - جمع آوری داده ها)
Running the Collection Tier (Part I – Collecting Data)
جمع آوری داده ها از طریق Stream Pattern و Spring WebSocketClient API
Collecting Data Via the Stream Pattern and Spring WebSocketClient API
توضیح نقش ردیف پیام
Explaining the Message Queuing Tier Role
اجرای ردیف مجموعه (قسمت دوم - ارسال داده)
Running The Collection Tier (Part II – Sending Data)
به مرحله دسترسی به داده ها بروید
Proceeding to the Data Access Tier
تشریح ردیف دسترسی به داده
Dissecting the Data Access Tier
معرفی ردیف دسترسی به داده ما – MongoDB
Introducing Our Data Access Tier – MongoDB
کاوش Spring Reactive
Exploring Spring Reactive
افشای ردیف دسترسی به داده در مرورگر
Exposing the Data Access Tier in Browser
پیاده سازی لایه تحلیل
Implementing the Analysis Tier
غواصی در سطح تحلیل
Diving into the Analysis Tier
الگوریتم های جریان برای تجزیه و تحلیل داده ها
Streaming Algorithms For Data Analysis
معرفی سطح تحلیل ما – آپاچی اسپارک
Introducing Our Analysis Tier – Apache Spark
پلاگین ردیف تجزیه و تحلیل جرقه به خط لوله ما
Plug-in Spark Analysis Tier to Our Pipeline
مروری کوتاه بر Spark RDDs
Brief Overview of Spark RDDs
جریان جرقه
Spark Streaming
DataFrames، Datasets و Spark SQL
DataFrames, Datasets and Spark SQL
جریان ساختار یافته جرقه
Spark Structured Streaming
یادگیری ماشینی در 7 مرحله
Machine Learning in 7 Steps
MLlib (Spark ML)
MLlib (Spark ML)
Spark ML و Structured Streaming
Spark ML and Structured Streaming
Spark GraphX
Spark GraphX
کاهش اتلاف داده بین سطوح جمع آوری، تجزیه و تحلیل و صف پیام
Mitigate Data Loss between Collection, Analysis and Message Queuing Tiers
تحمل خطا (HML)
Fault Tolerance (HML)
کافکا کانکت
Kafka Connect
ایمن سازی ارتباطات بین لایه ها
Securing Communication between Tiers
نمایش نظرات
Packtpub یک ناشر دیجیتالی کتابها و منابع آموزشی در زمینه فناوری اطلاعات و توسعه نرمافزار است. این شرکت از سال 2004 فعالیت خود را آغاز کرده و به تولید و انتشار کتابها، ویدیوها و دورههای آموزشی میپردازد که به توسعهدهندگان و متخصصان فناوری اطلاعات کمک میکند تا مهارتهای خود را ارتقا دهند. منابع آموزشی Packtpub موضوعات متنوعی از جمله برنامهنویسی، توسعه وب، دادهکاوی، امنیت سایبری و هوش مصنوعی را پوشش میدهد. محتوای این منابع به صورت کاربردی و بهروز ارائه میشود تا کاربران بتوانند دانش و تواناییهای لازم برای موفقیت در پروژههای عملی و حرفهای خود را کسب کنند.
آنگل لئونارد یک استراتژیست ارشد فناوری و مشاور مستقل با بیش از 20 سال تجربه در اکوسیستم جاوا است. در کار روزانهاش، او بر معماری و توسعه برنامههای کاربردی توزیعشده جاوا که معماریهای قوی، کدهای پاک و عملکرد بالا را تقویت میکنند، متمرکز است. او همچنین علاقه زیادی به مربیگری، مربیگری و رهبری فنی دارد. او نویسنده چندین کتاب، ویدئو و ده ها مقاله در رابطه با فناوری های جاوا است.
نمایش نظرات